2018年04月10日 15:30:29 敲代码的quant 阅读数：1567 标签： 度量学习metric learning机器学习聚类 更多

个人分类： 机器学习

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/FrankieHello/article/details/79872607

看到一篇知乎大神Flood Sung发表在CVPR2018上的paper，介绍了一种基于metric的模式识别方法，创新之处在于它不同于常用的matric-based方法，使用人为定义的度量，像简单的欧式距离、马氏距离，而是采用了用神经网络去训练这个度量，模型虽然简单，但是效果却很显著。

先说一下关于度量这个概念：在数学中，一个度量（或距离函数）是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。

度量学习也叫作相似度学习，根据这个叫法作用就很明确了。

之所以要进行度量学习，一方面在一些算法中需要依赖给定的度量：如Kmeans在进行聚类的时候就用到了欧式距离来计算样本点到中心的距离、KNN算法也用到了欧式距离等。这里计算的度量，就是比较样本点与中心点的相似度。

这里的度量学习在模式识别领域，尤其是在图像识别这方面，在比较两张图片是否是相同的物体，就通过比较两张图片的相似度，相似度大可能性就高。

因为在研究时间序列这方面的问题，所以想到了在时间序列中度量学习的体现，如果是判断两个区间的相似性，通常用到的度量方式就是采用常用到的欧式或者其他人为定义的距离函数，这样也就局限于了这样一个二维或者多维的空间中，而如果是用到Flood Sung大神提出的方法的话，我们把思路拓宽，能不能也是用神经网络来训练这个度量，这样的好处就是：

从广义上将度量学习分为：通过线性变换的度量学习和度量学习的非线性模型。

3.1线性变换的度量学习

线性的度量学习问题也称为马氏度量学习问题，可以分为监督的和非监督的学习算法。

3.1.1监督的全局度量学习

3.1.2监督的局部度量学习

3.1.3非监督的度量学习

3.2度量学习的非线性模型

非线性降维算法可以看作属于非线性度量学习：

通过核方法来对线性映射进行扩展：

想了一下，度量学习定位的话应该是最基础的部分。现在在用的无论是深度学习、强化学习还是神经网络或是监督学习，为了避免结果发散或者收敛结果好些，在使用前一般需要一个特征转换或者聚类的处理，在进行特征转换或者聚类时最基本的和最容易忽略的部分就是关于度量的学习，使用人为定义的方法必然有其局限性，那么通过神经网络或者其他方法是否效果会更好呢，将这个可以进一步研究。

《Discriminative Deep Metric Learning for Face Verification in the Wild》阅读记录

度量学习（Metric Learning）也就是常说的相似度学习。如果需要计算两张图片之间的相似度，如何度量图片之间的相似度使得不同类别的图片相似度小而相同类别的图片相似度大（maximize the inter-class variations and minimize the intra-class variations）就是度量学习的目标。  例如如果我们的目标是识别人脸，那么就需要构建一个距离函数去强化合适的特征（如发色，脸型等）；而如果我们的目标是识别姿势，那么就需要构建一个捕获姿势相似度的距离函数。为了处理各种各样的特征相似度，我们可以在特定的任务通过选择合适的特征并手动构建距离函数。然而这种方法会需要很大的人工投入，也可能对数据的改变非常不鲁棒。度量学习作为一个理想的替代，可以根据不同的任务来自主学习出针对某个特定任务的度量距离函数。

传统马氏距离度量学习是从训练集XX中寻找矩阵M∈Rd×dM∈Rd×d，计算两个样本x1x1,x2x2之间的马氏距离： 

dM(xi,xj)=(xi−xj)TM(xi−xj)−−−−−−−−−−−−−−−−−√dM(xi,xj)=(xi−xj)TM(xi−xj)

由于MM为对称半正定矩阵，因此可以分解为： 

M=WTWM=WTW

其中W∈Rp×d,p